Thần phả ghi ông có 3 người anh em cả ruột thịt và kết nghĩa là Nguyễn Bồ và Nguyễn Phục và Hoàng Định. Trước đó Hoàng Định vốn là người thuộc Kiều Công Hãn sứ quân tại Phong Châu, sau vì  Nguyễn Bặc kêu gọi mà bỏ theo về với Đinh Bộ Lĩnh. Khi Nam Tấn Vương Ngô Xương Văn tử trận năm 965, các sứ quân nổi dậy. Cả bốn anh em họ làm tướng đi theo Đinh Bộ Lĩnh hùng cứ ở Hoa Lư. Đinh Điền, Trịnh Tú và Lưu Cơ cũng tham gia vào lực lượng này.

Đóng góp trong công cuộc dẹp loạn 12 sứ quân, Nguyễn Bặc là người chiêu mộ nhiều võ tướng giỏi như Bạch Tượng, Bạch Địa, Đỗ Đài và 5 anh em họ Phí ở Động Phí (Ứng Hòa, Hà Nội); Lê Khai, Nguyễn Tấn (Nam Định); Lý Trí Thắng (Hải Dương); anh em Lý Phả, Lý Hoằng, Lý Quảng (Hải Phòng); anh em Nguyễn Viết, Nguyễn Sùng, Nguyễn Thiện và anh em Lý Đài, Lý Trâu, Lý Quốc cùng với sứ quân Phạm Bạch Hổ (Hưng Yên) để đưa họ gia nhập lực lượng của Đinh Bộ Lĩnh ở Hoa Lư.

Theo thần phả, khi đánh dẹp sứ quân Nguyễn Siêu, Nguyễn Bồ và Nguyễn Phục cùng 2 tướng khác bị tử trận. Đinh Tiên Hoàng liền truyền Nguyễn Bặc làm tiên phong, cùng với Hoàng Định, Đinh Điền và Lê Hoàn đem quân đánh báo thù, kết quả diệt được Nguyễn Siêu năm 967.

Những dấu tích ở Côn Sơn, Đông Triều thuộc khu vực chiếm đóng của sứ quân Phạm Bạch Hổ từng diễn ra nhiều trận đánh của tướng Nguyễn Bặc với sứ quân này. Tên núi Hun Sơn gắn với sự kiện Nguyễn Bặc dùng kế hỏa công, lợi dụng gió thổi đốt lửa hun khói vào doanh trại của Phạm Bạch Hổ, nhờ đó dễ dàng vây bắt.[4]

Ngoài trận đánh Nguyễn Siêu, Nguyễn Bặc chỉ huy các trận đánh buộc Phạm Bạch Hổ ở Đằng Châu (Hải Dương), Ngô Nhật Khánh ở Đường Lâm (Sơn Tây) và Ngô Xương Xí ở Bình Kiều (Thanh Hoá) phải quy thuận. Trong trận đánh sứ quân Đỗ Cảnh Thạc, Nguyễn Bặc chỉ huy cánh quân đánh vào thành Trại Quyền (Quốc Oai).

Nguyễn Bặc cư xử với Đinh Bộ Lĩnh không khác Trương Phi đối với Lưu Bị. Ông luôn cắp giáo đứng hầu mỗi khi Đinh Bộ Lĩnh bàn việc quân, hay nếm trước thức ăn để tránh cho Lĩnh khỏi bị đầu độc. Khi ra trận mạc ông luôn xông pha đi đầu. Có lần Đinh Bộ Lĩnh bị trúng tên ngã ngựa, Bặc cõng vua trên lưng, leo lên núi đá dựng đứng để thoát vòng vây.

Năm 968, Đinh Bộ Lĩnh lên ngôi, lấy hiệu là Đinh Tiên Hoàng. Nguyễn Bặc được phong làm Định Quốc Công, đứng đầu các công thần, quản lý việc nội chính. Đinh Điền được phong làm ngoại giáp.